Missão Concluída! Você dominou os blocos fundamentais da linguagem de IA!Não exatamente! Vamos tentar reconstruir essa sequência!Conhecimento Carregado: Tokens e Sequências ... Será que é ... ? ... Ou ...
Como chamamos os pequenos blocos que a IA usa para ler?
Exatamente! Tokens são as unidades pequenas, como "maçã", "ing" ou "?", que compõem a linguagem para uma IA.
Como o computador representa um token para poder entendê-lo?
Correto! Computadores só entendem números, então cada token recebe seu próprio número de identificação único.
Se tivermos os tokens para "amigo" e "barco", como se chama a palavra "amizade" quando é uma lista de números?
Perfeito! Uma lista ordenada de números de tokens é chamada de sequência.
Por que a ordem dos tokens em uma sequência importa tanto?
Exatamente! Os mesmos tokens em uma ordem diferente podem mudar completamente o significado de uma frase.
Qual é o limite de quantos tokens uma IA pode processar de uma vez?
Você acertou! A Janela de Contexto é o limite de quanta informação a IA pode "manter na mente" durante uma conversa.
Um único caractere de pontuação, como um ponto (.), pode ser um token?
Exato! Tokens podem ser palavras inteiras, partes de palavras ou até marcas de pontuação. Tudo é um bloco de construção!
1
Tokenização e Sequências
EvoClass-AI004Lecture 4
0
🤖 Bip Bop! Bem-vindo, Cadete! Selecione um subtópico abaixo para ver como uma IA "lê" por meio da tokenização.
Comando do Py-BotAO VIVO
Bip Bop! Olá, Cadete! Para ensinar uma IA a ler, primeiro precisamos cortar palavras em pequenos "pequenos blocos" de Lego. Pronto para aprender como computadores transformam palavras em números?
Progresso do Tópico0%
Ótima escolha! Um Token é como um bloco de Lego. Palavras como "amizade" são divididas em partes menores, como "amigo" e "barco". Até mesmo um simples "." é um token! Para uma IA, esses pedaços são mais fáceis de lidar do que frases inteiras e longas.
1
Subtópico 1
O que é um Token?
Cortar o texto em pequenos blocos de construção como "amigo" e "barco".
Olhe isso! Depois que temos tokens, a IA dá a cada um um número de identificação secreto. Esses números formam uma "sequência". Lembre-se: a ordem importa! "O cachorro mordeu o homem" e "O homem mordeu o cachorro" usam os mesmos blocos, mas a sequência conta uma história totalmente diferente!
2
Subtópico 2
O Poder das Sequências
Transformar blocos em uma lista matemática onde a ordem é tudo.
Você sabia? A IA tem uma "Janela de Contexto", que é como o tamanho da sua mão. Ela só pode segurar um certo número de tokens na sua "mente" de uma vez antes de começar a esquecer o início!
Você sabia?
A IA tem uma "Janela de Contexto", que é como o tamanho da sua mão. Ela só pode segurar um certo número de tokens na sua "mente" de uma vez antes de começar a esquecer o início!
Carregando...
⭐⭐⭐

Missão Concluída!

Você é um Mestre de Tokens!